Mozilla представила первый релиз инструмента llamafile, позволяющего упаковать веса большой языковой модели (LLM) в исполняемый файл, который без установки можно запустить практически на любой современной платформе, причём ещё и с поддержкой GPU-ускорения в большинстве случаев. Это упрощает дистрибуцию и запуск моделей на ПК и серверах.

llamafile распространяется под лицензией Apache 2.0 и использует открытые инструменты llama.cpp и Cosmopolitan Libc. Утилита принимает GGUF-файл с весами модели, упаковывает его и отдаёт унифицированный бинарный файл, который запускается в macOS, Windows, Linux, FreeBSD, OpenBSD и NetBSD. Готовый файл предоставляет либо интерфейс командной строки, либо запускает веб-сервер с интерфейсом чат-бота.

Источник: GitHub / Mozilla Ocho

Поддерживаются платформы x86-64 и ARM64, причём в первом случае автоматически определяется тип CPU и по возможности используются наиболее современные векторные инструкции. llamafile может использовать ускорители NVIDIA, а в случае платформы Apple задействовать Metal. Разработчики успешно протестировали инструмент в Linux (в облаке Google Cloud) и Windows с картой NVIDIA, в macOS и на NVIDIA Jetson.

Впрочем, некоторые нюансы всё же есть. Так, в Windows размер исполняемого файла не может превышать 4 Гбайт, поэтому большие модели вынужденно хранятся в отдельном файле. В macOS на платформе Apple Silicon перед первым запуском всё же придётся установить Xcode, а в Linux, возможно, понадобится обновить некоторые компоненты. Подробности и примеры готовых моделей можно найти в репозитории проекта.

Microsoft объявила, что набор средств разработки встраиваемых решений Azure RTOS, включающий операционную систему реального времени (ОСРВ) ThreadX, был переведён в категорию решений с открытым исходным кодом под именем Eclipse ThreadX и теперь будет развиваться под эгидой организации Eclipse Foundation.

В Eclipse Foundation заявили, что новый проект — «именно то, в чём очень давно нуждался сильно фрагментированный рынок встраиваемого ПО». ThreadX станет первой в мире open source ОСРВ, которая:

• Отличается зрелостью и масштабируемостью — ThreadX разрабатывалась более 20 лет, в настоящее время установлена на более чем 12 млрд устройств по всему миру и высоко ценится как высокопроизводительная, высокодетерминированная ОСРВ.
• Доступна под разрешающей открытой лицензией MIT.
• Регулируется open source фондом Eclipse Foundation, что гарантирует нейтральную модель управления развитием и устойчивостью ThreadX.
• Сертифицирована на защищённость и безопасность. ThreadX соответствует стандартам IEC 61508, IEC 62304, ISO 26262 и EN 50128, что подтверждено SGS-TÜV Saar. ThreadX также получила сертификат безопасности по стандартам Common Criteria EAL4+.

Отмечается, что в настоящее время нет аналогичных ОСРВ с открытым исходным кодом, имеющих подобную сертификацию и перечисленные преимущества.

Источник изображения: Microsoft

Проект Eclipse ThreadX станет доступен в I квартале 2024 года и будет включать ThreadX, NetX Duo, FileX, GUIX, USBX, LevelX, а также соответствующие инструменты и документацию. Microsoft предоставит проекту самые последние сертификаты, чтобы обеспечить непрерывность выпуска сертифицированных релизов. Фонд Eclipse Foundation объявил о создании группы, занимающейся разработкой модели устойчивого финансирования ThreadX, которую согласились поддержать AMD, Cypherbridge, Microsoft, NXP, PX5, Renesas, ST Microelectronics, Silicon Labs и Witekio (Avnet).

Некоммерческая организация Linux Foundation объявила о намерении сформировать «Фонд высокопроизводительного программного обеспечения »(High Performance Software Foundation, HPSF). Задачами данной структуры станут создание и продвижения стека ПО для НРС-приложений.

Предполагается, что появление HPSF будет способствовать ускорению решения задач в области НРС и ИИ. Фонд намерен предоставить «нейтральное пространство» для ключевых проектов в экосистеме HPC ПО. Участники отрасли, научные организации и госструктуры смогут сообща работать над софтверным стеком.

Источник изображения: Linux Foundation

Сообщается, что в деятельности HPSF примут участие Аргоннская национальная лаборатория, Национальная лаборатория им. Лоуренса в Беркли, Ливерморская национальная лаборатория, Лос-Аламосская национальная лаборатория, Окриджская национальная лаборатория и Сандийские национальные лаборатории (все входят в состав Министерства энергетики США), а также AWS, CIQ, HPE, Intel, Kitware, NVIDIA и др.

Фонд планирует использовать инвестиции, сделанные проектом Exascale Computing Project (ECP) Министерства энергетики США, совместным предприятием EuroHPC JU и другими международными структурами. На первом этапе в программный стек HPSF войдут open source решения Spack, Kokkos, AMReX, WarpX, Trilinos, Apptainer, VTK-m, HPCToolkit, E4S и Charliecloud.

До начала следующего года HPSF планирует проводить встречи с участниками для согласования структуры и схемы управления. Ожидается, что фонд будет официально сформирован в мае 2024 года.

Компания «Базальт СПО», занимающаяся разработкой российских ОС на базе Linux, Некоммерческое партнёрство разработчиков программного обеспечения «Руссофт» и Палата Индо-Российского технологического сотрудничества (CIRTC) подписали меморандум о взаимопонимании в рамках инициативы Российско-Индийской группы по особым интересам (RISING).

Стороны намерены сотрудничать по нескольким направлениям. Одно из них — создание суверенной и безопасной индийской ОС на основе решений с открытым исходным кодом. В рамках данного проекта планируется поддержка независимого репозитория и технологий для обеспечения производства защищенных дистрибутивов.

Кроме того, участники инициативы изучат жизненный цикл безопасной разработки; оценят существующие и потенциальные угрозы и уязвимости; разработают план совместных инициатив Индии и России по построению всеобъемлющей и суверенной инфраструктуры безопасной разработки; выработают рекомендации по политикам обеспечения кибербезопасности.

Источник изображения: «Базальт СПО»

Отмечается, что индийские партнёры заинтересованы в инструментах и технологиях «Базальт СПО». Стороны намерены проводить исследования в области архитектуры кибербезопасности. Будет также выработан план совместных инициатив Индии и России по созданию суверенной инфраструктуры безопасной разработки.

«Объединив опыт и компетенции "Базальт СПО" в области технологий с одной стороны, и возможности индийских компаний по разработке программных продуктов с другой, мы сможем создавать инновационные решения не только для Индии и России, но и других стран», — отметил Сергей Трандин, генеральный директор «Базальт СПО».

Открытая архитектура RISC-V, сегодня доступная любым разработчикам микрочипов, может исчезнуть из свободного доступа по инициативе США. Американские власти рассматривают возможность ограничить недружественным компаниям участие в международных сообществах RISC-V. Как сообщает «Коммерсантъ», это может создать проблемы российскому бизнесу, планирующему выпускать продукцию на соответствующей архитектуре. Ранее отечественные компании, например, отлучили от OpenRAN.

Открытая архитектура RISC-V появилась в Калифорнийском университете в Беркли и сегодня может использоваться совершенно свободно и бесплатно, в том числе в коммерческих проектах. Хотя в современных продуктах ядра RISC-V чаще предназначены для задач, требующих невысокой производительности, считается, что архитектура имеет большой потенциал для борьбы с x86 или Arm. Для синхронизации работ представители компаний участвуют в альянсах, крупнейшим из которых является RISC-V International. Несколько лет назад альянс «переехал» из США в Швейцарию из-за опасений возможных ограничений со стороны Вашингтона.

Источник изображения: Brian Kostiuk/unsplash.com

По данным СМИ, получившим доступ к подготовленной «Альянсом RISC-V» программой развития архитектуры RISC-V в России, к 2025 году отечественные разработчики чипов выпустят прототипы высокопроизводительных процессоров на данной архитектуре, а после 2026 года может начаться уже серийное производство таких чипов. В альянс входят «Байкал Электроникс», «Синтакор», «Аквариус» и ряд других крупных компаний. По данным отраслевых источников, производством подобных чипов могут заняться, например, Yadro и «Байкал Электроникс».

Прямо сейчас ряд американских конгрессменов требует ввести в отношении архитектуры экспортные ограничения. Хотя в первую очередь политики озабочены использованием RISC-V в китайских проектах, под вопросом может оказаться участие в международных альянсах российских разработчиков. При этом именно такие объединения задают общие стандарты. Если технические комитеты подобных альянсов перестанут принимать представителей российских дизайн-центров, разработка будет осложнена и последним придётся, как минимум, соблюдать стандарты, принятые без их участия.

Впрочем, эксперты допускают использование обходных путей для сохранения присутствия в подобных объединениях. Некоторые утверждают, что достаточно будет создать промежуточное юридическое лицо на нейтральной территории вроде Гонконга. При этом сама RISC-V International заявила, что попытки ограничений со стороны правительств затормозят появление новых, улучшенных чипов и отбросят назад глобальную технологическую отрасль.

Компания NVIDIA анонсировала программное обеспечение TensorRT-LLM с открытым исходным кодом, специально разработанное для ускорения исполнения больших языковых моделей (LLM). Платформа станет доступна в ближайшие недели.

Отмечается, что NVIDIA тесно сотрудничает с такими компаниями, как Meta✴, Anyscale, Cohere, Deci, Grammarly, Mistral AI, MosaicML (входит в состав Databricks), OctoML, Tabnine и Together AI, для ускорения и оптимизации LLM. Однако большой размер и уникальные характеристики LLM могут затруднить их эффективное внедрение. Библиотека TensorRT-LLM как раз и призвана решить проблему.

Источник изображений: NVIDIA

ПО включает в себя компилятор глубокого обучения TensorRT, оптимизированные ядра (kernel), инструменты предварительной и постобработки, а также компоненты для повышения производительности на ускорителях NVIDIA. Платформа позволяет разработчикам экспериментировать с новыми LLM, не требуя глубоких знаний C++ или CUDA. Применяется открытый модульный API Python для определения, оптимизации и выполнения новых архитектур и внедрения усовершенствований по мере развития LLM.

По оценкам NVIDIA, применение TensorRT-LLM позволяет вдвое увеличить производительность ускорителя H100 в тесте GPT-J 6B (входит в состав MLPerf Inference v3.1). При использовании модели Llama2 прирост быстродействия по сравнению с А100 достигает 4,6x. TensorRT-LLM уже включает полностью оптимизированные версии многих популярных LLM, включая Meta✴ Llama 2, OpenAI GPT-2 и GPT-3, Falcon, Mosaic MPT, BLOOM и др.

Софт TensorRT-LLM использует тензорный параллелизм — тип параллелизма моделей, при котором отдельные весовые матрицы разделяются между устройствами. При этом TensorRT-LLM автоматически распределяет нагрузка между несколькими ускорителями, связаннными посредством NVLink, или множественными узлами, объединёнными NVIDIA Quantum 2 InfiniBand. Это позволяет легко масштабировать задачи инференса с одного ускорителя до целой стойки.

Для управления нагрузками TensorRT-LLM использует специальный метод планирования — пакетную обработку в реальном времени, которая позволяет асинхронно обслуживать множество мелких запросов совместно с единичными большими на одном и том же ускорителе. Эта функция доступна для всех актуальных ускорителей NVIDIA, причём именно она даёт двукратный прирост производительности инференса в случае H100.

Наконец, конкретно в случае H100 библиотека активно использует возможностиTransformer Engine, позволяющего динамически привести вычисления к FP8-формату, что ускоряет и обработку и снижает потребление памяти без ухудшения точности итогового результата. Одна эта функция позволяет добиться четырёхкратного прироста быстродействия H100 в сравнении с A100.

Компания Sylabs, занимающаяся разработкой программного обеспечения для HPC-систем, обвинила соперника Ctrl IQ (CIQ) и её основателя Грега Курцера (Greg Kurtzer), который наиболее известен созданием CentOS, в краже данных, составляющих коммерческую тайну. Как сообщает The Register, компания считает, что эта информация позволила главе CIQ основать свой бизнес, хотя тот называет обвинения беспочвенными.

Иск был подан в Калифорнии ещё в феврале этого года, но материалы по нему стали доступны публике тольком летом. Курцер ранее работал главой Sylabs, но в марте 2020 года основал собственную компанию CIQ, которая в числе прочего также занимается технологиями, связанными с HPC-решениями. Одним из важных проектов CIQ является спонсорство разработки ОС Rocky Linux.

Изображение: CIQ

Основным проектом Sylabs является открытая контейнерная платформа Singularity. При этом разработчик предлагает и смежные платные продукты и сервисы — именно с ними связан иск к CIQ и Курцеру. Sylabs обвиняет Курцера и некоторых других его коллег в скоординированном увольнении в марте 2020 года. Причём некоторые из бывших сотрудников Sylabs, как предполагается, незадолго до официального ухода «навестили» серверы работодателя и похитили интеллектуальную собственность.

Sylabs утверждает, что разрабатывала проприетарную коммерческую технологию Fuzzball для управления HPC-системами, но Курцер якобы присвоил её и сделал доступной в формате open source специально для того, чтобы ей могла бесплатно пользоваться созданная им CIQ. При этом последняя подала заявки на регистрацию патентов как на Fuzzball, так и на ещё одну технологию Sylabs — Armored Containers для защиты контейнеров.

Истцы утверждают, что соответствующие технологии они разрабатывали ещё в 2019 году — и этому есть доказательства. Дополнительно Курцер, возможно, скачивал документы компании, связанные с процессом продаж и даже перенаправлял запросы на покупку ПО на личные почтовые адреса до своего увольнения 1 апреля 2020 года. В ряде правонарушений обвиняются и другие сотрудники, а также компании OpenDrives и IAG Capital Partners, которые, инвестировали в CIQ, якобы понимая, что новая компания ведёт дела недобросовестно.

Изображение: CIQ

По словам представителя Sylabs, Курцер и его соратники замешаны в краже у Sylabs интеллектуальной собственности, сведений, составляющих коммерческую тайну, корпоративных секретов, конфиденциальной информации о персонале, клиентах и партнёрах. Также Курцер опубликовал интеллектуальную собственность Sylabs как ПО с открытым кодом, которое и стало базой для создания продуктов CIQ, в результате привлёкшей $33 млн инвестиций. Наконец, попытки получения патентов в США также незаконны, считает Sylabs.

В CIQ отвергают все обвинения, заявляя, что речь идёт всего лишь о зависти конкурента — CIQ якобы добилась большего успеха, чем Sylabs. Отмечается, что Курцером и его единомышленниками при увольнении было заключено соглашение, согласно которому Sylabs не возражала против основания компании с независимо разработанным ПО и отказывалась от претензий в будущем. CIQ действительно активно развивается — компания в конце прошлого месяца анонсировала партнёрскую программу.

С 29 сентября по 1 октября 2023 года в городе Переславль-Залесский пройдет XIX конференция разработчиков свободных программ. Это единственное в России мероприятие, которое собирает ведущих специалистов-разработчиков СПО. Организатором традиционно выступит компания «Базальт СПО» при поддержке ИПС РАН. Условия участия в конференции опубликованы на сайте «Базальт СПО».

Андрей Савченко, председатель Программного комитета конференции, подчеркивает: «Мероприятие привлекает внимание широкого круга участников, от академиков до студентов, которые демонстрируют свои наработки».

Приглашаем разработчиков ПО, научных работников, студентов, преподавателей и журналистов принять участие в конференции. Вы узнаете о текущем состоянии дел и направлениях развития российских и международных проектов СПО, пообщаетесь разработчиками, чей профессиональный авторитет признан мировым сообществом СПО.

Источник изображения: "Базальт СПО"

Андрей Черепанов, начальник отдела сопровождения «Базальт СПО», отмечает: «Особенность конференции заключается в том, что она затрагивает преимущественно технические аспекты разработки свободного ПО».

Неизменные принципы конференции — доброжелательная атмосфера, уважение к каждому участнику, свободный обмен знаниями и идеями, отсутствие рекламы.

В программе мероприятия:

• достижения и задачи российских и международных проектов разработки свободного программного обеспечения;
• научные проекты, затрагивающие разработку продуктов под свободной лицензией;
• вопросы развития сообщества свободного ПО;
• задачи образования в сфере ИТ;
• правовые аспекты свободного лицензирования.

Среди информационных партнеров — Tadviser, Telesputnik, Itweek, ComNews, IT World, Rspectr.com, 3DNews, Cyber Media, ServerNews, Information Security, IXBT, «Открытые системы», «Научная Россия», ICT Online, ГлобалМедиа, MSKIT, ITSZ, NNIT, Мир IT с Антоном Павленко, АРПП «Отечественный софт», РУССОФТ, «Ассоциация документальной электросвязи», 4CIO и др.

Тезисы докладов выйдут отдельным сборником и будут опубликованы в национальной библиографической базе данных научного цитирования РИНЦ (тезисы и видео прошлогодней конференции), а также получат Цифровой Идентификатор Объекта (DOI), которые регистрируются в базе международного агентства CrossRef.

Ссылка на онлайн-трансляцию будет опубликована на сайте «Базальт СПО». Ждем вас на конференции!

CIQ, Oracle и SUSE объявили о создании совместной торговой ассоциации Open Enterprise Linux Association (OpenELA) с целью «разработки дистрибутивов, совместимых с Red Hat Enterprise Linux (RHEL), путём предоставления открытого и бесплатного исходного кода Enterprise Linux (EL)». Создание OpenELA вызвано недавним изменением в политике Red Hat относительно доступа к исходному коду RHEL.

В ответ на установленные Red Hat ограничения компании CIQ, Oracle и SUSE договорились о сотрудничестве, чтобы предоставлять сообществу исходный код, инструменты и системы через OpenELA. Начиная с конца этого года, OpenELA будет предоставлять ресурсы, необходимые для создания downstream-сборок, совместимых с RHEL версий 8 и 9, а потом, возможно, и 7. Ассоциация будет стремиться обеспечить постоянную доступность исходных кодов OpenELA для сообщества без ограничения в сроках.

OpenELA будет предоставлять только исходный код и инструменты, но речи о создании собственного бинарного дистрибутива не идёт. Участники и все желающие смогут создавать свои собственные RHEL-совместимые дистрибутивы на основе этого кода. Первоначально совет директоров OpenELA будет включать в себя равное представительство компаний-учредителей.

Источник изображения: SUSE

Ранее в ответ на решение Red Hat компания SUSE сообщила о создании собственного форка RHEL, на поддержку которого выделит в течение нескольких лет $10 млн. А разработчики AlmaLinux объявили, что их дистрибутив более не будет полноценным клоном RHEL. Oracle же раскритиковала IBM и Red Hat и пообещала не следовать их примеру в отношении Linux. Red Hat в ответ на критику сообщества сообщила, что не видит ценности в пересборках RHEL.

Департамент информационных технологий города Москвы сообщил о том, что репозиторий решений с открытым кодом Mos.Hub, рассчитывающий стать аналогом зарубежных площадок, таких как GitHub, за два месяца привлёк более 3 тыс. зарегистрированных участников.

Напомним, Mos.Hub — это модернизированный городской репозиторий ПО, который российская столица развивает более 10 лет. Платформа позволяет делиться собственными разработками и повторно использовать отдельные элементы городских цифровых сервисов. Для всех российских разработчиков площадка стала доступна в конце мая нынешнего года.

Как теперь сообщается, за два месяца функционирования Mos.Hub отечественные разработчики опубликовали в репозитории более 1,6 тыс. проектов open source. Весь размещённый код хранится на защищённых серверах на территории России. Работа с Mos.Hub бесплатна для участников отрасли; реализована удобная система авторизации через Mos ID.

Источник изображения: pixabay.com

«Проект вызвал большой интерес и оказался востребованным: сегодня в нём уже разместили более 1,6 тыс. проектов. Почти 85 % — публичные, в их числе, например, библиотеки, курсы, учебные проекты, боты, исходные коды, сборки пакетов, блоги, сайты, программы», — рассказали в Департаменте информационных технологий города Москвы.

В дальнейшем планируется расширение возможностей репозитория. В ближайшие месяцы появятся инструменты автоматической проверки кода на наличие ошибок и уязвимостей. Кроме того, будут внедрены дополнительные функции, упрощающие совместную разработку ПО, среди которых — зеркалирование внешних репозиториев, автоматизация правил утверждения и слияния кода, а также рейтинги и оценка проектов.